#Conversational Search

5 篇

AutoSim: A Self-Improving User Simulator for Conversational Search Evaluation

AutoSim：面向对话搜索评估的自改进用户模拟器

🧭 用户模拟器自改进 · 评估真实性 ★ 深度解读

University of Passau · Interdisciplinary Transformation University Austria

Prompt 级自改进无法消除对话搜索模拟器与真实用户行为差距，权重级对抗微调把判别 AUC 降到 0.45 并修正评估偏差。

📌 工作参考价值（4 点）

如果要在搜索/推荐/Agent 离线评估里用 LLM 用户模拟器，别指望 prompt 或少样本把「模拟用户」变真实；准备少量真实用户对话或行为日志，用 LoRA/权重级对抗 SFT 训练生成器。论文的四轮 rejection sampling 流程可直接复用：冻结判别器，采样候选 utterance，保留最像人的样本再 SFT，然后刷新判别器。
上线前给模拟器加两道检查：一是真实 vs 模拟判别器 AUC 或人工判别，不只看平均 query 长度、礼貌比例；二是在真实用户无结果/低召回的高难度 query 上比较模拟 query 的 nDCG 或召回，防止模拟器掩盖检索失败。
把「评估判断」和「用户生成」解耦：排序有效性来自强 LLM judge，不必让 judge 自改进；judge 与 generator 用不同模型家族，避免 self-preference/verbosity bias。业务上可复用为：LLM relevance judge 保持与人工标注或 A/B 结果对齐，生成器单独做真实性校准。
对生成式推荐/QueryRec 或多轮 Agent 用户建模：不要只学最终答案或短 query 表层长度，要匹配真实 query 与完整需求之间的语义对齐；短 query 不一定需求聚焦，需额外测 query-need alignment。

Eval | 2026-10-20 | cs.IR | score 8/10

基于语料反馈的多步对话查询改写

🧭 对话查询改写 · 检索反馈 ★ 深度解读

INESC-ID · Carnegie Mellon University · Amazon

将对话查询改写重构为多步检索过程，Agent 通过检索反馈依次执行意图消解、词汇改写和伪文档生成，仅用检索奖励训练即超过单步改写基线

📌 工作参考价值（4 点）

把 query 改写/扩写从单步改为多步，动作类型化为 intent、rephrase、HyDE、stop，并让后续动作显式看到前一步 top-k 结果。可直接套在电商搜索的 query 改写、广告选词、push 文案生成，尤其适合需要反复试探语料分布的召回场景。
不需要人工 rewrite 标注，仅用检索指标（如 rank-based reward、nDCG）做强化学习，就能让策略自动学会“先消歧、再词汇对齐、最后做伪文档匹配”的步骤顺序；可以降低标注成本，并更容易与已有召回器对齐。
伪文档动作不是简单复制检索结果，而是吸收已检索 passage 的词表；8-gram 复制检测和 unigram Jaccard 可用于线上安全/去重审计。推理成本要按场景估算，设置 max steps 和早停可控制 token 开销。
在 BM25 上训练的改写策略可零样本迁移到 dense retriever（尤其强的 embedding model），意味着可以用廉价稀疏检索离线训练、线上换更强的向量召回，或反向验证鲁棒性。

QueryRec | 2026-10-07 | cs.IR | score 9/10

基于 LLM 的对话式房屋搜索重排序

🧭 对话推荐 · LLM 重排

QuintoAndar · Growthloop

用 LLM 融合多轮对话上下文重排房屋候选，线上 CTR +5.3%, 预约看房 +4.8%

📌 工作参考价值（4 点）

RecSys | 2026-07-16 | cs.IR | score 7/10

基于学习稀疏检索和列表重排序的多轮RAG系统

🧭 多轮对话RAG · 稀疏检索 · LLM重排序

University of Amsterdam

结合学习稀疏检索与LLM重排序的多轮RAG管道，利用完整对话历史提升跨域泛化与鲁棒性

📌 工作参考价值（4 点）

RAG | 2026-06-10 | cs.IR | score 7/10

提升对话搜索中LLM知识蒸馏的效率与效果

🧭 对话搜索 · LLM知识蒸馏 · 稀疏检索效率优化 ★ 深度解读

University of Amsterdam

通过引入加权对比损失、优化负采样策略和强正则化，在稀疏检索中平衡效果与推理效率

📌 工作参考价值（4 点）

蒸馏损失中加入小权重对比项：在电商搜索的 query 重写或对话式推荐场景，若使用 KL 散度蒸馏（如 DiSCo），可混入 5%-20% 的 InfoNCE 损失，不增加推理开销，就能稳定提升 MRR 和 nDCG—直接替换损失函数即可。
负采样数量需要谨慎选择：虽然理论上更多负样本能逼近真实 KL 期望，但在做检索相似度蒸馏时，正样本容易被大量负样本“淹没”，造成梯度分散。实验表明 16 个负样本是平衡点（TopiOCQA 上），这一结论可迁移到商品搜索的稀疏蒸馏中，避免盲目增加 batch 内负例。
利用 KL 蒸馏的松弛特性做强力稀疏正则化：KL 损失对表示空间的约束比 MSE 更松，因此可以加大 L1 或 FLOPS 正则化强度，将推理 FLOPS 降低 50% 以上，而召回率下跌 <2%。这对有延迟要求的电商搜索尤为实用，可快速压缩稀疏索引模型。
长会话中特别注意稀疏退化并提供解决方案：对话轮次增加会导致激活维度急剧膨胀（L0 分数恶化），强力正则化能有效抑制这一趋势，使长对话仍保持高度稀疏，适合部署在客服 Agent 或多轮对话推荐等场景。

QueryRec | 2026-06-03 | cs.IR | score 8/10